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基于 PF-LSTM 网 络 的 高 效 网 络 流量 预测 方法 
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摘 要 : 网 络 流量 具有 实时 突变 性 和 依赖 性 ， 传 统 网 络 流量 预测 模型 存在 泛 化 能 力 弱 和 预测 准确 度 低 等 缺点 。 为 解决 
此 问题 ,提出 一 种 基于 长 短期 记忆 (LSTM) 循环 神经 网 络 的 网 络 流量 预测 模型 。 首 先 ， 用 距离 比较 和 优化 组 合 策略 改 


子 滤 波 算 法 (PF) 的 重 采 样 过 程 ; 然后 搭建 PF-LSTM 网 络 的 网 络 流量 预测 模型 , 将 改进 的 PF 算法 用 于 模型 训练 ， 
提高 其 训练 速率 ， 克 服 传统 的 LSTM 网 络 中 收 化 于 局 部 最 优 的 缺点 ; 最 后 将 提出 模型 用 于 网 络 流量 预测 。 实 验 结果 表 
明 ， 相 比 于 传统 的 LSTM 模型 ， 提 出 的 PF-LSTM 模型 具有 较 好 的 预测 精度 和 收 你 效率 ， 能 够 更 好 地 描述 网 络 流量 的 
变化 趋势 。 
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Efficient network traffic prediction method based on PF-LSTM network 


Li Xiaolin'’?, Wu Teng! 
(1. Chongqing University of Posts & Telecommunications, Chongqing 400065, China; 2. Chongqing Information Techmology 
Designing Co, Ltd, Chongqing 401121, China) 


Abstract: The network traffic has sudden changes and dependencies in real-time, and the traditional network traffic prediction 
model has the disadvantages of weak generalization ability and low prediction accuracy. In order to solve this problem, this 


paper developed a network traffic prediction model based on the Long Short-Term Memory (LSTMI recurrent neural network. 


Firstly, improved resampling process of Particle Filter (PF) with distance comparison and optimized combination strategy. Then, 
built a PF-LSTM network model to accurately predict the network traffic. Model training with improved PF algorithm to 
improved its training rate and overcame the shortcomings of convergence in the traditional LSTM network. Finally, predicted 
network traffic through proposed models. The experimental results show that the model has better prediction accuracy and 
convergence efficiency compared with the traditional LSTM model, which can describe the trend of changes better in network 
traffic. 
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合成 移动 平均 模型 (ARIMA) 等 43， 这 些 模型 针对 小 规模 的 稀 

疏 网 络 流量 预测 取得 了 很 好 的 效果 ， 但 是 不 能 满足 现代 网 络 流 
随 着 通信 技术 的 迅 狐 发 展 ， 无 线 网 络 用 户 急剧 增加 ， 网 络 量 存 在 的 突变 性 和 多 依赖 性 等 非 线 性 要 求 申 。 随 着 神经 网 络 ， 
流量 呈 爆 发 式 增 长 ， 为 了 预防 网 络 拥堵 ， 提 高 网 络 资源 的 利用 支持 向 量 机 等 技术 的 不 断 提 出 ， 出 现 了 基于 机 器 学 习 算 法 的 预 
率 ， 无 线 网 络 的 有 效 管理 变 得 十 分 重要 。 网 络 流量 的 建 模 与 预 测 模 型 , 例如 入 工 神经 网 络 , 最 小 二 乘 支持 向 量 机 (LSSVM ) ， 
测 可 以 提前 掌握 网 络 流量 的 变化 特征 与 趋势 ， 从 而 制定 合理 有 极限 学 习 机 (extreme learning machine，ELM) 等 6]。 通 过 对 


0 引言 


效 的 流量 管理 策略 ， 以 满足 用 户 对 网 络 服务 质量 (quality of 。 历史 数据 进行 拟 合 训练 和 规律 性 学 习 ， 较 好 的 解释 了 网 络 流量 

service，QoS) 的 要 求 。 因 此 建立 高 精度 的 预测 模型 具有 重要 的 的 随机 性 和 周期 性 ， 在 网 络 流量 预测 中 得 到 广泛 的 应 用 。 以 上 

实际 意义 。 算法 存在 的 问题 在 于 缺少 对 时 序数 据 时 间 相 关 性 的 考虑 ， 预 测 
针对 短期 网 络 流量 复杂 多 变 的 特点 ， 出 现 了 许多 有 效 的 网 精度 有 限 口 。 

络 流量 预测 模型 。 传 统 的 线性 模型 包括 自 回归 模型 (AR) 、 移 循环 神经 网 络 (recurrent neural network，RNN) 是 一 种 引 

动 平均 模型 (MA) 、 自 回归 移动 平均 模型 (ARMA) 、 自 回归 入 循环 反馈 的 深层 神经 网 络 团 , 考虑 到 时 间 序 列 的 时 序 相 关 性 ， 
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在 学 习 具 有 长 期 依赖 的 时 序数 据 上 表现 出 更 强 的 实用 性 四。 长 


短期 记忆 (long short-term memory，LSTM) 循环 神经 网 络 是 
RNN 的 一 种 特殊 模型 , 能 够 学 习 时 序数 据 之 间 的 长 期 依赖 关系 ， 


有 效 地 解决 了 常规 RNN 训练 过 程 中 的 梯度 消失 和 梯度 爆炸 问 
题 ， 在 时 间 序 列 预测 领域 得 到 广泛 应 用 09。 

传统 的 LSTM 进行 网 络 参数 的 确定 是 采用 的 是 反 向 误差 传 
播 (back propagation through time，BPTT) 算法 , 该 算法 复杂 度 
非常 高 , 并 且 容 易 收敛 于 局 部 最 优 解 00。 粒 子 滤 波 (particle filter， 
PF) 是 一 种 基于 蒙特 卡 洛 思想 的 贝 叶 斯 估计 算法 ， 在 非 线性 、 
非 高 斯 系统 中 具有 更 强 的 建 模 能 力 。 该 算法 收敛 速度 快 ， 收 敛 
于 全 局 最 优 解 ， 己 在 多 目标 跟踪 ， 故 障 诊断 ， 信 号 处 理 等 领域 
得 到 广泛 的 应 用 。 号 芍 。 但 是 基本 的 PF 算法 存在 粒子 退化 , 粒 
子 多 样 性 丧失 等 问题 051。 
针对 网 络 流量 预测 中 LSTM 参数 优化 问题 ， 提 出 一 种 改进 
的 PF-LSTM 的 网 络 流量 预测 横 型 ， 通 过 改进 PF 算法 确定 模型 
的 最 优 参数 ， 提 高 预测 准确 率 和 效率 。 


1 LSTM 神经 网 络 


1.1 循环 神经 网 络 原理 
深度 学 习作 为 深层 次 的 神经 网 路 ， 是 机 器 学 习 中 一 个 新 的 
研究 领域 。 传 统 的 人 工 神经 网 络 认 为 数据 是 独立 的 ， 它 所 考虑 
的 唯一 输入 是 当前 时 刻 的 输入 数据 ， 而 不 考虑 数据 之 间 的 时 序 
性 。 RNN 是 一 种 前 馈 神 经 网 络 ,在 传统 神经 网 络 中 增加 了 记忆 
单元 ， 隐 藏 层 之 间 的 节点 不 在 是 无 连接 的 ， 而 是 有 连接 的 了 。 
图 1 为 典型 的 RNN 单元 , 包含 输入 层 x ,隐藏 层 h ,输出 层 0。 
其 中 一 条 单 向 的 信息 流 由 输入 层 到 隐藏 层 ， 再 由 隐藏 层 到 输出 
民 ， 构 成 基本 的 神经 网 络 结构 ， 另 一 条 信息 流 由 隐藏 层 到 隐藏 
层 构 成 闭环 ， 形 成 自 连 接 的 隐 层 。RNN 的 原理 如 下 : 二 表示 1 
时 刻 的 输入 ，W 表示 上 时刻 隐 藏 层 的 状态 ，% 表示 输出 。 当 前 
1 时 刻 的 隐藏 层 的 状态 除了 包含 输入 层 信息 以 外 ， 还 包含 上 一 
时 刻 1 一 1 时 的 信息 1 ,而 也 会 对 下 一 时 刻 t+l1 时 的 隐藏 层 产 
生 影 响 。 使 用 公式 可 以 将 RNN 单元 的 结构 表示 为 
h =tanh(Ux, + Wh,) (1) 


一 


o, = soft max(Vh ) (2) 
其 中 : U ，W ，V 为 对 应 层 的 权重 矩阵 


re 


| 


i 
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图 1 RNN 单元 
RNN 隐藏 层 的 结构 特点 使 得 循环 神经 网 络 能 够 对 前 面 的 
信息 进行 “记忆 ”并 作用 于 此 刻 的 输出 ， 因 此 能 够 有 效 的 解决 
长 期 依赖 问题 。 但 是 随 着 时 间 间 隔 的 不 断 增 大 ,RNN 


会 丧失 学 


习 过 去 较 和 久远 信和 
1.2 LSTM 神 乡 
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息 的 能 力 ， 即 梯度 消失 。 
径 网 络 原理 


LSTM 作为 RNN 的 一 种 改进 模型 ， 其 原理 在 本 质 上 是 相 
似 的 ， 不 同 之 处 在 于 LSTM 模型 在 隐藏 层 中 引入 “记忆 细胞 ”的 


结构 ,使 用 不 同 的 函数 去 计算 隐藏 
使 用 三 个 门限 层 控制 可 以 通过 


序列 数据 非常 有 效 .LSTM 


层 的 状态 。 
门 的 信息 量 ， 对 具有 长 期 依赖 的 
“记忆 细胞 "的 结构 中 如 图 2 所 示 。 


在 “记忆 细胞 "中 ， 


图 2 中 ， 


图 2 LSTM “ 
为 输入 门限 层 ， 用 》 


门限 层 ， 用 来 控制 


记忆 细胞 ”结构 图 


胞 历史 状态 的 


控制 信息 输入 ; 为 遗忘 
保留 ; 0, 为 输出 门限 层 ， 用 


来 控制 信息 的 输出 。 激 活 函 数 a 为 sigmoid 函数 ， 应 用 于 三 个 
门 之 中 ， 产 生 的 值 在 [0,1] 之 间 ， 当 遗忘 门 输出 值 为 0 的 时 候 ， 

表示 将 上 一 状态 的 信息 全 部 丢弃 ， 当 遗忘 门 的 输出 值 为 1 的 时 

候 ， 表 示 将 上 一 状态 的 信息 全 部 保留 LSTM 结构 具体 的 计算 公 

式 如 下 : 

i=o(W,x%, +Wh_ ,+b,) (G3) 

f=o(WyX, + Wah +b,) (4) 

0,=o(W,X + Wh +b,) (5) 

co=f Cc +i Ctanh(W x + Wh ,+b.) (6) 

h =0, © tanh(c,) (7) 

y=0(W,,h,) (8) 


其 中 : * 为 输入 层 的 输入 ，5 为 输入 门 的 输出 ， 为 遗忘 门 的 
输出 ，o, 为 输出 门 的 输出 ，c 用 来 更 新 细胞 状态 ， 


的 输出 ，y, 为 输 


层 


的 输 LH 


hh 为 隐藏 层 


出。 其 中 W 为 对 应 层 的 权重 矩阵 ， 忆 


为 各 层 输出 的 偏差 向 量 , 0 和 tanh 是 激活 函数 , 分 别 为 sigmoid 
函数 和 双 曲 正切 函数 。 


LSTM 模型 训练 过 程 采 


用 的 是 与 经 典 的 反 向 传播 算法 


(back propagation,BP ) 原理 类 似 的 BPTT 算法 ， 大 致 可 以 分 为 


四 个 步骤 : a) 


态 都 会 影响 各 


时 间 范 围 内 的 记忆 功 
对 优化 函数 和 约束 条 伯 


项 ; c) 根据 相 


按照 式 (3)~(8) 计 算 LSTM 细胞 的 输出 值 ; 
时 间 和 网 络 层级 两 个 反 向 传播 方向 计算 每 个 LSTM 细胞 的 误差 
应 的 误差 项 计算 每 个 权重 的 梯度 ; d) 应 用 梯度 
下 降 的 优化 算法 更 新 权重 。 在 训练 过 程 中 ， 误 差 项 会 向 上 一 个 
状态 逐 层 传递 ， 几 乎 没有 衰减 。 


b) 按 


很 长 时 间 之 前 的 状态 和 结尾 状 
民权 重 的 调整 ， 最 后 训练 出 来 的 模型 就 具有 较 长 


能 。 但 是 BPTT 算法 需要 利用 导数 运算 ， 
F 具 有 严格 的 连续 逢 


0 可 求 导 的 要 求 ， 在 复 


杂 的 优化 环境 中 计算 复杂 度 高 ， 可 能 收敛 于 局 部 最 优 值 。 由 于 
近年 来 现代 计算 机 计算 效率 的 提高 ， 粒 子 滤波 在 非 线 性 ， 非 高 
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斯 系统 表现 出 良好 的 优越 性 ， 在 智能 导航 和 跟踪 、 数 据 分 析 、 
故障 检测 等 领域 得 到 了 成 功 的 应 用 。 为 了 提高 LSTM 模型 的 预 
测 精度 ， 降 低 计算 复杂 度 ， 提 高 效率 ， 本 文 引 入 改进 的 粒子 滤 
波 非 线性 约束 优化 算法 ， 通 过 粒子 滤波 实现 对 预测 模型 参数 的 
优化 。 


2 ”粒子 滤波 优化 算法 


2.1 标准 的 粒子 滤波 算法 

粒子 滤波 算法 是 一 种 基于 蒙特 卡 洛 思 想 的 贝 叶 斯 估计 方法 ， 
其 基本 思想 是 ， 在 状态 空间 中 ， 通 过 加 权 求 和 代替 积分 操作 ， 
对 随机 信号 丸 (i=12,…,N ) 的 后 验 概 率 密 度 PCx | zx) 进行 
近 拟 , 再 由 系统 观测 函数 zx 的 不 断 更 新 , 从 而 得 到 信号 的 最 小 
方差 估计 。 即 


车 


! ml 


I 攻 
Paula) = 7) = wf) (10) 
可 | 


其 中 ，w 为 粒子 的 权 值 ， N 为 采样 粒子 数 。 

标准 的 粒子 滤波 算法 包括 重要 性 采样 、 

等 关键 步骤 ， 其 具体 的 实现 过 程 如 下 : 
建立 时 变动 态 系 统 的 数学 模型 为 : 


X= fi Ks Wi) 


| 内 


采样 、 状 态 估计 


pe 


yx =h (XV) 
其 中 : 有 (*) 和 及 (*) 是 系统 状态 和 的 非 线性 函数 , 变量 wi 是 系 
统 噪声 ; vi 是 系统 测量 噪声 。 
a) 初始 化 : k=0 
己 知 概率 密度 p(x%) 采样 生成 初始 粒子 和 
个 粒子 为 等 权重 的 : {3,1/ N;i=1,2,…, NN} 


， 粒 子 集中 每 


mt 


b) 重要 性 采样 : k=1,2,…,N 
(a) 从 建议 分 布 函 数 中 随机 抽取 N 个 粒子 : 
~ uM) = PRM) ,LN (12) 
(b) 更 新 粒子 权 值 并 对 权 值 进行 归 一 化 : 
wi 加 wi pz A | Xi 1) (13) 
q(x yo) 
W=wW /Dw (14) 
c) 重 采 样 
计算 有 效 粒子 数 。 
Ny = TW) (15) 


若 Nr < Ns ， 则 跟 据 p( 丫 = 叉 )= 巩 进行 重 采样 ,选择 权 值 
较 大 的 粒子 复制 ， 较 小 的 删除 ， 形 成 新 的 生成 粒子 集 : 
{X01\N;j=1,2,…,N}， 其 中 Nj, 为 设 定 的 阔 值 。 

d) 状态 估计 : 估计 系统 状态 及 方差 


N 
总 = E(x |y) ~ > Xm (16) 
过 


及 = >》 mA) (17) 


6) 令 k=k+1， 返 回 第 b) 步 。 


呈 


粒子 滤波 中 Nur 决定 着 预测 模型 的 预测 精度 ， 随 着 迭代 次 


数 的 增加 ， 在 重 采样 的 过 程 中 权 值 较 大 的 粒子 大 量 增加 ， 权 值 
偏 小 的 粒子 所 剩 无 几 ， 有 效 粒 子 数 不 断 降低 ， 造 成 粒子 贫 化 ， 
多 样 性 降低 ， 大 大 提高 了 估计 误差 。 为 了 解决 这 一 问题 ， 需 要 
对 重 采样 过 程 进行 优化 改进 。 
2.2 ”改进 重 采样 的 粒子 滤波 算法 

传统 的 重 采样 算法 的 思想 是 在 生成 新 粒子 集 的 过 程 中 丢弃 
小 权 值 粒子 、 并 多 次 重复 复制 大 权 值 粒子 ， 这 就 会 损失 粒子 的 
多 样 性 。 为 了 解决 此 问题 ， 在 重 采样 过 程 中 引入 距离 比较 过 程 
和 优化 组 合 策略 ， 首 先 通 过 距离 比较 过 程 尽 可 能 地 保留 中 等 权 
值 的 粒子 ， 其 次 根据 优化 组 合 策略 由 大 权 值 粒子 衍生 出 新 粒子 
代 蔡 重复 复制 ， 从 而 在 克服 粒子 退化 现象 的 同时 也 使 得 新 生 粒 
子 集 的 有 效 性 和 多 样 性 均 得 到 增强 。 具 体 的 实现 步骤 如 下 : 

1) 距 离 比 较 过 程 

为 了 保证 具有 中 等 权 值 的 粒子 在 重 采样 步骤 之 后 正确 保留 ， 
在 累计 密度 函数 到 均匀 分 布 随机 数 的 映射 中 引入 距离 比较 过 程 ， 
定义 距离 比较 计算 式 为 : 

|u; -cl<o:|c;—c,| ,i=1,2,,N 


jm 


i 
m 和 
Ci = Dw ,i=1,2,°…,N 


m=1 


其 中 :c 表 示 索 引 为 i 的 粒子 的 累计 密度 函数 值 ，4j 为 距离 最 近 
的 随机 数 ，5 =L/ N 为 距离 因子 。 如 果 c; 和 wj 之 间 的 距离 
小 于 粒子 自身 的 权重 ， 则 粒子 被 认为 是 具有 中 等 权重 的 粒子 ， 
在 重 采 样 之 后 应 该 得 到 保留 。 
通过 在 重 采样 的 每 一 时 刻 引 入 距离 比较 ， 当 前 时 刻 重 采样 
执行 之 后 ， 能 够 保证 具有 中 等 权重 的 粒子 的 正确 输出 ， 粒 子 和 
的 有 效 性 得 到 了 增强 。 

2) 基 于 优化 组 合 策略 生成 新 粒子 

重 采 样 过 程 中 ， 粒 子 集 多 样 性 损失 是 过 度 复制 了 大 权重 的 
粒子 导致 的 。 为 了 避免 样本 贫 化 现象 ， 提 出 由 优化 组 合 策略 产 
生 的 新 生 粒 子 集 。 

在 重 采样 过 程 中 ， 将 具有 很 大 权重 的 粒子 视 为 根 粒 子 ， 与 
其 邻近 粒子 的 状态 信息 相 结 合生 成 新 的 子 代 粒子 集 。 定 义 优 化 
组 合 的 公式 如 下 : 
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入 二 二 所 共 ， 抽 =12, C0) 


其 中 : WY 代表 有 根 粒 子 新 生成 的 新 生 粒 子 集 ，x 代表 与 粒子 相 
邻 的 邻近 粒子 集 。 设 定 参数 

Li=(1/0) :wr (21) 
其 中 : W 代表 某 一 特定 邻近 粒子 的 重要 性 权 值 ，& 代表 此 特定 


邻近 粒子 距离 根 粒子 的 对 应 空间 间隔 数 。 通 过 引入 参数 ， 使 不 
同 邻近 粒子 权 值 贡献 以 及 其 距离 根 粒 子 汉 的 空间 间隔 影响 都 


通过 与 邻近 粒子 集 相 结合 的 方式 ， 生 成 新 的 粒子 集中 包含 
了 更 多 邻近 粒子 的 状态 信息 ， 使 最 终 输 出 的 粒子 集中 的 多 样 性 
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增强 ， 从 而 能 够 更 好 的 表达 系统 状态 的 后 验 概率 密度 。 


3 


3.1 


基于 改进 粒子 滤波 算法 的 LSTM 预测 模型 


基于 改进 粒子 滤波 算法 的 LSTM 模型 训练 
粒子 滤波 算法 优化 函数 的 过 程 可 认为 是 一 个 时 变动 态 系统 。 


迁 代 次 数 可 以 看 做 是 离散 的 时 间 值 ， 而 系统 的 状态 可 看 做 是 每 


次 迭代 的 最 优 解 。 首 先 需 要 确定 时 变动 态 


新 方程 和 初始 状态 。 


系统 的 测量 方程 ， 更 


LSTM 预测 模型 的 目标 是 使 系统 的 预测 值 与 实际 值 的 误差 


全 可 能 小 。 也 就 是 说 目标 函数 是 最 小 化 >0- y)  。 其 中 为 


实际 值 ，y 而 为 系统 的 输出 值 ，7 为 时 间 序 列 的 长 度 。 那 么 系 
统 的 测量 方程 可 以 定义 为 


程 ， 洲 
备 状 态 最 优 估计 问题 ,基于 粒子 滤波 算法 


角 


(8) 训 


硅 


fitness = Dy 一 y) (22) 
f=1 


系统 的 更 新 方程 可 由 式 (3) ~ (8) 
量 方程 和 初始 状态 都 已 知 的 情况 下 ， 粒 子 滤波 算法 将 求 


二 


本 步骤 如 下 。 
a) 系 统 状态 初始 化 。 根 据 上 述 LSTM 网 络 的 参数 和 式 (3) 一 


藏 层 ，1 层 输 


下 : 


a) 数 扩 


Chit 
李 校 林 ， 等 : a 


naXiv 合 f 作 只 | 
各 的 高 效 网 络 流 量 预 


在 网 络 结构 设计 中 确定 LSTM 网 络 结构 由 1 层 输入 层 ，1 层 隐 
出 层 组 成 。 结 合 图 4 可 知 ， 其 具体 的 预测 步骤 如 


差 标 椎 化 处 理 


处 理 和 样本 划分 。 通 过 网 络 流量 样本 数据 进行 极 


使 样本 数据 处 于 [0,1] 之 间 。 


XxX, 
XxX = nn 
nor > 和 。 (23) 


其 中 : Xs 与 %on 表示 样本 数 中 的 最 大 值 和 最 小 值 


经 过 与 处 理 之 后 的 数据 按照 简单 交叉 验证 法 划分 为 训练 集 
前 90% 组 数据 作为 训练 集 ， 用 于 LSTM 网 络 模型 的 
下 的 10% 组 数据 作为 测试 外 


和 测试 集 ， 
训练 ， 余 - 
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b) 确 定 LSTM 网 络 中 的 输入 层 单元 个 数 , 输 出 层 单元 个 数 


和 隐藏 层 


和 元 个 数 1 以 及 隐藏 层 参数 。 设 置 网 络 输入 为 每 批 m 
笑 为 输入 X={%|i=1,2,…,m} ，n 个 变量 作为 输出 
,|i=1,2,…., 


n} ， 隐 藏 层 单元 个 数 通 过 多 次 试探 实验 来 决 


组 成 ， 在 系统 更 新 方 


的 LSTM 参数 优化 的 


| 算 LSTM 的 输出 值 》。 根 据 误差 范围 确定 系统 初始 状态 


的 定义 域 作为 系统 的 约束 条 件 。 粒 子 滤波 算法 的 性 能 受 粒子 群 
初始 值 影响 较 小 ， 因 此 该 算法 中 采用 在 其 定义 域内 随机 产生 种 
群 的 方法 进行 初始 化 。 令 粒子 总 数 为 N ， 


b) 重 要 性 采样 。 对 于 i=1,2,…,N ， 
~ 4(4 | xm) ， 从 初始 粒子 集中 随机 
9 更 新 全 局 最 优 解 。 根 据 系统 的 测量 方程 式 (22) 评估 所 有 


友 代 总 数 为 矿 。 
根据 概率 分 布 函数 
取 N 个 粒子 。 


粒子 xx 的 吻合 值 ， 选 择 其 中 的 最 优 粒 子 以 及 对 应 的 最 优 》 值 。 


d) 更 新 粒子 权 值 并 对 权 值 进行 归 一 化 。 


只 要 粒子 不 满足 系 


统 约束 条 件 ， 就 置 粒子 的 权 值 为 0， 如 果 满 足 约束 条 件 ， 就 根 


居 当 前 观察 值 六 和 
(14) 归 一 化 粒子 的 权 值 。 

6) 重 采样 。 为 了 减 小 粒子 退化 现象 
和 多 样 性 ， 该 算法 引入 距离 比较 过 程 保 记 


式 (13) 来 计算 每 个 粒子 的 权 值 ， 并 通过 式 


定 。 本 实验 设 定 m=12 ，n=2， 即 通过 每 批 12 个 小 时 的 网 络 流 
量 数据 预测 未 来 2 小 时 的 网 络 流量 值 。 
c) 预 测 模型 


训练 过 程 参 数 设 置 。 通 过 改进 的 粒子 滤波 算法 


确定 参数 ， 使 模型 收敛 于 全 局 最 优 。 


d) 网 络 流量 


时 预测 。 


e 判 定 预 测 模型 误差。 对 于 网 络 模型 预测 结果 ， 采 用 两 种 
误差 分 析 方 法 验证 其 预测 精度 , 即 均 方 根 误 差 (root mean square 


error,RMSE) 条 


过 


平均 相对 误差 (mean relative error,MRE) 。 


RMSEC 让 = > -3 04 


MRE(y,,$,) =— 二 |x100% (25) 
yi; 


i=l i 


其 中 : ;为 序列 样本 的 实际 值 ， 久 为 预测 值 ，N 为 样本 总 数 。 
4 ”仿真 结果 及 分 析 
为 了 分 析 本 文 提 出 的 PF-LSTM 模型 的 预测 性 能 ， 选 取 某 


地 区 2016 年 5 月 1 日 到 2016 年 5 月 20 日 每 小 时 的 网 络 流量 


ES 


保证 粒子 集 的 有 效 性 


E 中 等 权 值 粒子 的 正确 


输出 。 在 生成 新 的 支撑 粒子 集 的 过 程 中 ， 


式 
复 


化 组 合 策 


结合 邻居 粒子 的 状态 生成 新 的 粒子 集 ， 
出 所 引起 的 样本 贫 化 现象 。 
计算 有 效 粒 子 数 Nr ， 如果 Ny <Nw ， 
赂 执行 重 采样 过 程 ， 得 到 新 的 支撑 粒子 集 x 。 
状态 估计 。 根据 式 (16) (17) 估计 系统 的 状态 和 方差 。 
民 从 代步 数 上 判断 算法 终止 条 件 是 否 满足 ， 如 果 不 满 


多 根 和 
足 终 止 条 
hb) 算法 终止 。 返 回 最 优 的 粒子 和 系统 


F， 则 重新 返回 到 步骤 2 。 


引入 由 优化 组 合 的 方 
克服 大 权重 粒子 过 度 


则 根据 距离 比较 和 优 


的 输出 值 》。 


3.2 ”基于 粒子 滤波 算法 的 LSTM 预测 模型 的 建立 


本 文 实验 是 在 Windows 10 操作 系统 


程 , 使 用 Keras 深度 学 习 框 架 ,搭建 LSTM 


Ph, 基于 Python 3.5 编 
循环 神经 网 络 模型 。 


统计 数据 作为 实验 对 象 ， 共 计 得 到 500 个 样本 ， 如 图 5 所 示 。 


选择 前 450 个 样本 点 作为 训练 集 构 建 网 络 流量 学 习 模型 , 后 50 
个 样本 点 作为 测试 集 分 析 模 型 的 性 能 。 从 预测 精度 和 算法 收敛 


效率 两 个 方 
a) 预 ; 


面 验证 其 性 能 。 


则 精度 。 图 6 是 分 别 采 用 传统 的 BPTT 算法 训练 的 


LSTM 网 络 模型 和 提出 的 BF-LSTM 网 络 模型 对 网 络 流量 值 的 


预测 结果 


线 虽 然 和 


线 图 。 由 图 6 可 以 看 出 ,传统 的 LSTM 模型 预测 曲 


不 大 理想 
网 络 流量 


决 网 络 流量 的 变化 趋势 ， 但 是 与 真实 值 曲 线 拟 合 得 
ji PF-LSTM 模型 收敛 于 全 局 最 优 , 能 够 较 好 地 跟踪 
的 变化 趋势 ， 实 现 了 更 精确 的 预测 。 


步 比 较 LSTM 和 PF-LSTM 两 种 模型 的 预测 效果 ， 


表 1 计算 出 了 两 种 模型 的 平均 预测 误差 , RMSE 和 MRE。 从 表 
中 可 以 看 出 ，BF-LSTM 模型 的 预测 结果 误差 较 小 , 预测 值 要 明 
显 优 于 传统 的 LSTM 模型 。 从 MRE 的 角度 进行 评价 ， 传 统 的 
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LSTM 的 结果 为 14.72%， 而 BF-LSTM 模型 的 结果 为 6.31%， 
优 于 LSTM 的 预测 误差 。 


初始 网 络 流量 数据 


数据 极 差 
标准 化 处 理 


样本 数据 划分 


简单 交叉 验证 


测试 数据 


NE 


收敛 的 LSTM 网 络 


训练 数据 


输入 训练 样本 值 
m=12, n=2 


进行 预测 
系统 状态 初始 化 ， 
系统 的 约束 条 件 
初始 粒子 数 N=500 输出 预测 值 


i 迭代 步 数 tf=400 
更 新 
训练 参数 


改进 粒子 滤波 算法 寻 
找 最 优 吻 合 粒子 


迭代 步 数 k>tf 


获得 最 优 


计算 RMSE 


收敛 参数 


PF-LSTM 的 网 络 流量 预测 模型 


1200 


TT 


网 络 流量 值 /GB 
a 
3 
时 


0 50 1 150 200 250 300 350 400 450 500 
采样 点 数 /小 时 


5 实验 统计 数据 图 


pa 


网 络 流量 值 /GB 
外 
引 


一 兴 -BF-LSTM 
一 人 传统 LSTM 


0 1 , | 
450 455 460 465 470 475 480 485 490 495 500 
采样 点 数 / 小 时 


图 6 网 络 流量 预测 结果 曲线 图 


表 1 不 同 模型 预测 结果 及 误差 比较 
模型 平均 误差 RMSE MRE 
LSTM 101.72 109.44 14.72% 
BF-LSTM 43.30 57.36 6.31% 


Na 上 
网 络 的 高 效 网 络 流量 预测 方法 


李 校 林 ， 等 : 基于 PF-LST 


芯 
双 


b) 收敛 效率 。 为 了 验证 PF-LSTM 预测 模型 收敛 效率 ， 将 
结合 文献 [19] 提 出 的 基于 灰 狼 优化 算法 的 时 间 序 列 预 测 模型 
GWO-LSTM 和 传统 的 LSTM 模型 在 训练 数据 集 上 进行 误差 收 
敛 实验 。 在 GWO-LSTM 模型 中 设置 灰 狼 个 数 为 200， 三 种 模 
型 具有 相同 的 LSTM 结构 ， 连 代 次 数 均 为 4100， 在 相同 的 数据 
集 上 进行 训练 实验 。 实 验 结果 如 图 7 所 示 ， 从 最 终 的 平均 相对 
误差 上 分 析 ，BF-LSTM，GWO-LSTM 模型 的 稳 态 相对 误差 均 
低 于 LSTM 模型 ， 说 明 前 两 者 在 预测 精度 方面 要 优 于 后 者 。 从 
收敛 速度 方面 考虑 BF-LSTM 模型 的 误差 收敛 速度 最 快 ， 其 初 
始 误 差 要 明显 小 于 其 他 两 种 模型 ， 在 经 过 200 组 左右 的 训练 数 
据 训 练 之 后 ， 就 能 收敛 于 最 优 的 误差 值 ， 而 GWO-LSTM 模型 
和 LSTM 模型 分 别 要 经 过 450 组 和 300 组 数据 之 后 相对 误差 册 
线 才 趋 于 平稳 ， 因 此 PF-LSTM 模型 能 够 收敛 到 更 小 的 稳 态 误 
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差 值 ， 而 且 收 敛 速度 最 快 ， 上 共有 更 高 的 效率 。 
0.3 
全 LST™ 
—— GWO-LST™M 
0.25 上 —e— PF-LST™M 
出 0.2 上 
三 
要 0.15 
长 
E33 
次 0.1 
什 
0.05 
0 50 100 150 200 2 00 Bo a 450 


训练 数据 量 


7 不 同 模型 在 训练 数据 集 上 的 误差 收敛 曲线 图 


5 ”结束 语 
针对 复杂 突变 的 网 络 流量 时 序数 据 , 采用 LSTM 网 络 进行 


时 间 序 列 预测 ， 但 是 在 进行 训练 时 所 采用 的 BPTT 算法 易于 收 


敛 于 局 部 最 优 值 ， 预 测 效 果 不 理想 。 本 文 提 出 了 一 种 基于 改进 
的 粒子 滤波 约束 算法 (PF) 优化 LSTM 神经 网 络 的 短期 网 络 流 
量 预测 模型 (PF-LSTM)〉。 该 模型 利用 距离 比较 过 程 和 优化 组 
合 策略 改进 粒子 滤波 算法 ， 然 后 对 LSTM 网 络 进行 学 习 训 练 ， 
天 化 模型 的 参数 ， 用 于 对 短期 网 络 流量 进行 预测 。 仿 真实 验 表 
明 , PF-LSTM 预测 模型 具有 较 好 的 预测 精度 ， 可 以 准确 把 握 网 
络 流量 的 变化 趋势 ， 而 且 还 有 良好 的 收敛 效率 。 将 此 模型 应 用 
到 网 络 流量 管理 与 规划 中 ， 有 助 于 降低 网 络 流量 拥塞 的 频率 ， 
提高 网 络 资源 的 利用 率 。 
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